山积而高,泽积而长
KingYen's Blog ⚡️
Blog - AI Infra
    推理系统的四个心智模型:吞吐、Roofline、KV Cache 与调度AI Infra
    从一条请求的时间线出发,用四个心智模型理解推理系统:吞吐与延迟如何换算,Roofline 为何判定 decode 是带宽题,KV Cache 怎样长成第二组权重,调度与并行又怎样分配时间与显存。
    AI Infra推理系统KV Cache性能模型
CopyRight © 2026KingYen.
鲁ICP备2024135406号
KingYenKY
Navigation
  • Home
  • About me
  • Blog
  • Tutorials
  • Contact
KingYenKY
Navigation
  • Home
  • About me
  • Blog
  • Tutorials
  • Contact